Năm 1865 dưới triều Tự Đức, Nguyễn Văn Siêu cho xây cầu nối bờ với đền Ngọc Sơn và đặt tên nó là Thê Húc (nghĩa là "giọt ánh sáng đậu lại" hay "Ngưng tụ hào quang"). Cầu gồm 15 nhịp, có 32 chân cột gỗ tròn xếp thành 16 đôi, mặt cầu lát ván, thành sơn màu đỏ sẫm, chữ Thê Húc được thếp vàng.[1] Cầu đã trải qua hai lần tái thiết kể từ khi hoàn tất. Lần thứ nhất là vào năm 1897 triều Thành Thái. Lần thứ nhì là vào năm 1952 dưới thời thị trưởng Thẩm Hoàng Tín (nhiệm kỳ 2/1950-8/1952) sau khi một nhịp cầu gãy vào đêm Giao thừa năm Nhâm Thìn 1952 vì khách đi lễ đền Ngọc Sơn quá đông.[1] Dưới sự giám sát của kiến trúc sư Nguyễn Bá Lăng cầu được xây lại thay vì bằng gỗ thì móng cầu được đúc lại bằng xi măng năm 1953 dưới thời thị trưởng Đỗ Quang Giai (nhiệm kỳ 8/1952-10/1954).[2]

Cầu Thê Húc cũng từng bị cháy rụi năm 1887 do bị đốt. Khi Pháp hạ thành Hà Nội, đền Ngọc Sơn trở thành nơi ở của một viên quan tư người Pháp và cấm dân vào cúng lễ khiến một học trò tên Nguyễn Văn Minh 17 tuổi và bạn học Đức Nghi 14 tuổi nhà phố Hàng Dầu đã lập mưu đốt cầu Thê Húc. Cầu cháy ko rõ lý do làm người Pháp sợ và rút ko dám ở trong đền nữa cũng như rút quân Pháp đóng ở đền Trấn Quốc, chùa Châu Long và đình làng Yên Phụ. Tuy nhiên việc sau đó bị bại lộ nên Minh bị bắt, đi tù và đi đầy và cuối cùng bị tử hình năm 1888 khi mới 18 tuổi. https://thanhnien.vn/van-hoa/thang-long-giai-thoai-bai-7-hai-cau-be-dot-cau-the-huc-169915.html